挑戰Kaggle：Bengali.AI Speech Recognition-Recognize Bengali speech from out-of-distribution audio recordings。

目標：建立一個語音模型，使用挑戰所提供的資料集(Massively Crowdsourced (MaCro) Bengali speech dataset)訓練，該資料集的音檔來自於印度與孟加拉募集約24000人所錄製的1200小時音檔。

動機：孟加拉語是全世界多人使用的語言之一，而不同的宗教或種族所說的孟加拉語會有所不同，Google針對孟加拉語的WER(字詞錯誤率)高達74%。

模型評估：使用Word Error Rate(WER)來評估，將於測試集中每個實例計算WER，並在每個領域的WER做平均且案自數做加權計算。最後，把每個領域的WER做平均(未加權)作為最後的分數。

繳交格式：除了Code之外，繳交的csv檔須包含兩個欄位，id and sentence

程式碼需求：

• CPU Notebook <= 9 hours run-time
• GPU Notebook <= 9 hours run-time
• Internet access disabled
• Freely & publicly available external data is allowed, including pre-trained models
• Submission file must be named submission.csv

依現有SeamlessM4T模型預測孟加拉語

從Kaggle挑戰的數據中隨機挑選20個音檔，用SeamlessM4T的既有模型做S2TT(Speech-to-Text)翻譯，以其中一個音檔作範例，程式碼及音檔播放如下：

0000e711c2b1.wav

translated_text, _, _ = translator.predict(
                "./0000e711c2b1.wav",
                "s2tt",
                tgt_lang="ben"
                )

print(translated_text) 
#তিনি এবং তার মা তাদের পৈতৃক বাড়ি থেকে প্রতিবেশীদের দ্বারা অনেক তিরস্কার সহ্য করেন।

將預測後的文本與數據中的正確文本做WER(Word Error Rate)計算，WER數字越小表示翻譯結果越佳：

from jiwer import wer

sentence = "তিনি এবং তাঁর মা তাদের পৈতৃক বাড়িতে থেকে প্রতিবেশীদের দ্বারা অনেক তিরস্কার সহ্য করেন।"
predicted = "তিনি এবং তার মা তাদের পৈতৃক বাড়ি থেকে প্রতিবেশীদের দ্বারা অনেক তিরস্কার সহ্য করেন।"

error = wer(sentence, predicted)
print(error)       # 0.14285714285714285

將20個音檔的翻譯結果列表如下，：

總結

利用WER(Word Error Rate)來評估既有的SeamlessM4T的S2TT的功能，翻譯對象為隨機選擇20個Kaggle挑戰中提供的音檔，20個音檔翻譯中WER最小為0(表示翻譯結果完全正確)，最大為1.25(表示翻譯結果差異非常大)，平均下來WER為0.24，接下來看看能否藉由訓練集訓練SeamlessM4T來降低錯誤率。